8 Deep Learning

Thibaut FABACHER

GMRC

Deep learning

Deep learning vs machine learning

Classical Machine learning

  • Interpretability and explainability
  • Smaller amounts of relatively simple data
  • Straightforward feature engineering
  • Smaller computational power needed
  • Different algorithms 

Deep learning

  • Can achieve very high accuracy
  • Need large amounts of precisely labeled data
  • need powerful compute resources (GPU acceleration)
  • Augmentation and other transformations of the initial dataset will be necessary

Source : softwaretestinghelp.com

Naissance du perceptron

Du perceptron au deep learning

Plan

  • comment le réseau transforme couche après couche des données en probabilités

  • Qu’est ce qu’une descente de gradient

  • Comment calculer le gradient ?

Transformation des données : les couches denses

Comment mettre en avant des caractéristiques dans les données ?

Couches denses

Somme pondérée des notes \(x_i^j\) pour chaque étudiant \(i\) : Création d’information

Couches denses

Somme pondérée des notes \(x_i^j\) pour chaque étudiant \(i\) : \(y_i = \sum_{j=1}^{7}{w_jx_i^j}\)

Moyenne de note en langue : \(w=(0,0,0,0.5,0.5,0,0)\)

Couches denses

Différence entre math et info: \(w=(-1,0,-1,0,0,0,0)\)

Couches denses

Somme pondérée des notes \(x_i^j\) avec biais suivi de ReLU :

\[ s_i = b + \sum_{j=1}^7w_jx_i^j\\ y_i = max(0,s_i) \]

Sélection des moyennes supérieures à 10 en sciences : \(w=(0.2,0.2,0.2,0,0,0.2,0.2);b=-10\)

Couches denses

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Descente de gradient

Master Intelligence des données de santé / UE Technique